大模型 40 张祥雨访谈 多模态大模型研究的挣扎史和未来

---

准备好了吗？咱们开始。

---

听张祥雨聊了两个半小时，我掐了三次人中才缓过来

深夜，我戴着耳机，屏幕上是张祥雨和张小珺、李广的对话。

本想当个背景音随便听听，结果？我掐了三次人中。

不是内容无聊，是信息量太大了，大到我的脑子像一台死机的老电脑，风扇狂转，屏幕却卡住了。

这些年，我听过上百个AI大佬的技术访谈。但像张祥雨这样，把自己最狼狈的“失败”和“困惑”摊在桌上，跟朋友聊天的，你猜有几个？

一个都没有。

你知道他什么来头吗？ResNet的联合作者，论文引用37万+，阶跃星辰的首席科学家。随便一个头衔，都够他摆出一副“我什么都懂”的高冷姿态。

可他在访谈里说了什么？

他说：“这个没做成。”

他说：“那个被低估了。”

他说：“我一度很绝望。”

说到这儿，我真想给他鼓掌。这种坦诚，在今天的AI圈里，比一块A100显卡还稀有。

我先抛一个让你大脑直接宕机的观点：多模态领域这么多年最大的成就，不是CLIP，不是DALL·E，也不是Sora。而是——我们终于敢承认了：正确答案，我们还没找到。

张祥雨这场访谈，说白了，就是一份来自第一线的《多模态踩坑指南》。我从里面帮你挖出了三个让我半夜拍大腿的“天坑”，和两个他觉得马上要炸裂的“GPT-4时刻”。

怎么样，往下看。

---

坑一：所有人都被“长上下文”忽悠了！Transformer连什么是“上下文”都没搞懂

“很多人说长上下文重要，主要是业务上重要。”

听完张祥雨这句话，我差点在屏幕前把头点断。

你看，我之前做过几个RAG项目。每次信心满满地给模型塞进一堆文档，结果呢？文档越多，输出越垃圾！

这个“垃圾”可不是token溢出的那种。而是它会在长篇大论里，突然抓出一个八竿子打不着的细节，然后用一种极度自信的语气，把整个结论带跑偏。

我当时差点把键盘砸了。

换了三套Embedding模型，问题原封不动。

后来张祥雨说了一句话，我脑子嗡的一下，全通了。他说：Transformer没有“压缩”能力。

你想想人脑是怎么工作的？看到一堆信息，会偷偷做笔记、会自己划重点，自动识别“这部分未来可能有炸，我得记住”。这叫压缩，这叫智能。

Transformer呢？

它能塞进一千万个token，但它不知道要从里面“获得什么”。就像一个记忆力超强但不会学习的书呆子，你让它看一本书，它给你把整本原样背下来了，但你问它中心思想是什么，它傻了。

更要命的是，随着窗口越长，注意力越涣散，性能反而下降。你说气不气人？

访谈里他还提了一件事，直接把我逗乐了。就是业界都在追捧那个“大海捞针”测试，觉得模型能从长篇里捞出一根针就很牛。

张祥雨说：这本质上是无损检索。但无损检索和智能，是两码事。

卧槽！就这么回事！

智能是需要取舍的，跟查数据库一样找一个精确匹配的文本段，那叫“查找”，不叫“思考”。

那怎么破？

他给出的方向是混合架构：让一个短记忆的Transformer干最精细的活，再配一个无限上下文的Linear Transformer当目录。两套Agent协作，模拟人脑的分区记忆。

我听完就想：“这不就是我之前手写prompt，想让模型自己拆任务，但从未成功过的那个方案吗？”

区别在哪呢？

张祥雨说，这个可以端到端训练。不需要你写复杂prompt，冷启动就能跑。

说到这儿，我得坦白讲，我对这个思路能不能scale，还是打个问号。因为Multi-Agent的协同训练，现在连单个Agent的稳定性都还没搞定。

但方向绝对是对的——别再跟上下文长度死磕了！先想想怎么让模型学会说“不”，学会“忘”。

---

坑二：模型越大，推理越差？我没疯，这是真的！

接下来这个坑，如果你在训练大模型，请拿出小本本记好。

张祥雨在训练过程中发现了一个让他百思不得其解的现象：参数从百亿涨到千亿再到万亿，模型的通用对话能力、情商、知识量都像打了鸡血一样噌噌往上涨。

但推理能力，尤其是数学，先上升一段，然后平缓，最后居然开始下降。

我当时的第一反应是：这不可能吧？ scale越大不应该越强吗？

就像练肌肉，你天天加杠铃片，力量肯定越来越强啊，怎么会倒回来？

然后我立刻想起了自己用GPT-4做逻辑题的惨痛经历。

2023年初，刚出的GPT-4，做简单算术题基本全对。到了2024年，同样的问题，它经常直接甩给我一个答案，中间步骤全跳了，然后错得离谱。

我当时以为是模型更新后变懒了，还跟朋友吐槽了半天。

但张祥雨的解释，当头给我浇了一盆冷水。他说：核心问题在于Next Token Prediction这个框架，它天生更关注“压缩率”，而不是“推理精度”。

什么意思？

他打了个比方：训练的时候，模型发现直接报答案（“42”）比一步步写推导过程（“3+7=10, 10×4+2=42”）的压缩率更高，loss更低。

你想想，它那么聪明，一算账就懂了：直接报答案最省事，还更准确（在大部分情况下）。

于是呢？一旦参数大到能“记住”很多答案的映射，它就开始疯狂跳步。但跳步意味着什么？意味着误差积累。一旦跳错一步，后面就全错。

这才是问题核心啊！——我们引以为傲的自回归架构，竟然在背地里奖励“偷懒”！

o1的思路呢，就是强行打断这个偷懒行为。

通过Rule-based RL，迫使模型生成Meta CoT思维链，允许它在关键节点反悔、重试、选择不同分支，把推理过程从单线变成图状结构。

张祥雨说得更狠：这叫“压抑跳步冲动，强化稳定思维路径”。

我后来在自己的项目里也试了类似的思路：对数学题强制要求先写“思考过程”再给答案。

效果立竿见影。

一个7B的小模型，在某些任务上，甚至超过了之前直接回答的13B的大模型。这不是魔法，这是用算法去对抗架构的先天缺陷！

有人可能会说：那直接换架构不就完了？换成RNN或者状态空间模型。

张祥雨提醒了一句话：架构服务算法，算法服务系统。

因为要并行训练，RNN必须表现出可分离的形式，这才有了Linear Transformer。所以，与其期待新架构一夜救世，不如在现有框架里找到算法突破口。

看到了吧？o1已经证明了，这条路，走得通。

---

坑三：把“理解”和“生成”硬塞进一个模型？这事儿难到你想象不到

好了，前两个坑你可能觉得自己还能跟上。但接下来这个坑，是整场访谈里，让我最焦虑的一个。

张祥雨和他的团队，做了个叫DreamLLM的框架。想干嘛呢？想把图文理解和生成，统一在一个模型里。

听起来是不是很美？一个模型，既能看懂图，又能画出图，理解和生成互相打助攻。

结果呢？

他坦承：这事儿没做成。

原因有三个，每一个都让我头皮发麻。

第一个：语言对视觉的控制力太弱了。

你仔细想想。你想让一个模型画一只“左脚稍微抬起的猫”，你靠自然语言描述，能精确到像素级别吗？根本不可能。理解端需要的是精确对齐，生成端需要的是自由度。这两个目标，天生就是死对头，要打架的。

第二个：数据不一致。

图文描述要对齐，视频字幕要同步。这些数据集的质量，参差不齐。爬虫爬回来的数据，大量都是垃圾。你想清洗干净？那成本高到离谱，能让你怀疑人生。

第三个，也是最致命的：生成模块，没办法反向影响理解模块。

扩散模型的降噪过程，本身并不蕴含推理能力。当你想让模型理解图像时，生成侧的错误信息，反而会污染理解特征。

说到这儿，我想起我自己用Stable Diffusion的经历了。

我想让它画一张“穿着蓝色毛衣、背景模糊、右侧光照”的人像，我改了十次prompt，最后还得靠PS去修补。

你看，生成和理解之间，隔着的是一条鸿沟。不是靠什么端到端训练就能填平的。

多模态生成理解一体化被低估了难度。 这是张祥雨的原话。他还补了一句：“语言模型领域进步极快，但多模态的难度我们当时严重误判。”

这话，从一个ResNet的作者嘴里说出来，分量有多重，你品，你细品。

---

两个GPT-4时刻：一个关于“推理”，一个关于“学习”

好了，坑说完了，咱们聊点让人兴奋的。

张祥雨认为，接下来2到3年，多模态领域会出现两个“GPT-4时刻”。

第一个：多模态推理。

你看o1在文本推理上的成功，这只是开胃菜。当推理能力被移植到多模态，比如模型不光能“看”一张电路图，还能一步一步帮你分析电流走向，指出哪个元件可能坏了。这才是真正的质变！

张祥雨说：“o1范式的技术本质，是激发出Meta CoT思维链。”

这个思维链在视觉任务中同样适用。我最近测试了一些多模态模型的空间推理能力。让它们描述“从厨房走到卧室经过几扇门”，大多数模型会忽略客厅的门，或者重复计数。

结果呢？一旦引入推理链，正确率蹭蹭往上跳。

第二个：自主学习。

张祥雨引用了OpenAI的智能分级：Chatbot（水平1）→ Reasoner（水平2）→ Agent（水平3）。

他认为下一个最大的跨越，就是从Reasoner到Agent。

而Agent的核心，就是自主学习。

什么意思？就是不再依赖人工给你定义规则和KPI。模型自己去探索环境，自己定义目标，自己学习评价标准。

他说了一句话，让我到现在都在琢磨：“现在的工具调用，还是在RL时代，是迎合人给模型定的KPI。”

你想想，我自己写过的十几个Agent系统，哪个不是离不开手写prompt、规则引擎、函数调用的层层配合？

说白了，我们不是在造Agent，我们是在给模型编剧本。

真正的自主学习，应该是它自己写剧本，自己选角色，自己决定什么时候改剧情。

张祥雨觉得这条路最终通向ASI（超级智能）。你可能觉得这个说法有点激进，但方向绝对是对的。

人类能从自然语言这种非结构化的反馈中学习，设计自己的内生奖励，模型凭什么不可以？

---

最后的忠告：别被“大海捞针”忽悠了，去思考吧

这整场访谈听下来，我最大的感受，只有一句话：

过去十年，多模态领域大家都在用做工程的方式搞科研。接下来，你要学会用做科研的方式去做工程。

什么意思？

以前我们追求什么？更大的模型，更长的上下文，更多的模态。这些是工程指标，堆算力就能看到增长。

但现在呢？增长曲线变平了。在某些维度上，比如推理，甚至倒挂了。

这时候，我们需要回归基础问题：压缩和智能到底是什么关系？推理和生成，到底该不该统一？架构、算法、系统，这三者怎么才能重新适配？

少看点“大海捞针”的评测结果。多花点心思，想想你的模型到底有没有在思考。

如果你现在正准备搞一个多模态项目，我劝你先别急着上几百万的算力。

先想清楚，你要解决的是哪个坑？是长上下文的注意力涣散？还是推理精度随规模下降？还是生成理解一体化的根本冲突？

问题定义清楚了，答案才可能值钱。

最后，最后一句，一定要记住：

那个参数越大推理越差的现象，至今还没有引起足够广泛的讨论。

如果你在训练大模型时，也发现了类似的怪事，别怀疑自己的数据有问题。你很可能撞上了架构的天花板。

但反过来想，这反而是个好信号——

天花板出现了，就说明，下一个突破，已经不远了。

我在等着多模态推理的那个GPT-4时刻。

张祥雨说，最多一年就会来。

我觉得，可能要不了那么久。